联合学习（FL）是一种新兴技术，用于协作训练全球机器学习模型，同时将数据局限于用户设备。FL实施实施的主要障碍是用户之间的非独立且相同的（非IID）数据分布，这会减慢收敛性和降低性能。为了解决这个基本问题，我们提出了一种方法（comfed），以增强客户端和服务器侧的整个培训过程。舒适的关键思想是同时利用客户端变量减少技术来促进服务器聚合和全局自适应更新技术以加速学习。我们在CIFAR-10分类任务上的实验表明，Comfed可以改善专用于非IID数据的最新算法。
translated by 谷歌翻译
事实证明，知识蒸馏是使用教师模型的预测来改善学生模型的一项有效技术。但是，最近的工作表明，在数据中的亚组中，平均效率的提高并不统一，尤其是在稀有亚组和类别上的准确性通常可能以准确性为代价。为了在可能遵循长尾分配的课程中保持强劲的表现，我们开发了蒸馏技术，这些技术是为了改善学生最差的级别表现而定制的。具体来说，我们为教师和学生介绍了不同组合的强大优化目标，并进一步允许在整体准确性和强大的最差目标之间进行任何权衡训练。我们从经验上表明，与其他基线方法相比，我们强大的蒸馏技术不仅可以实现更好的最差级别性能，而且还可以改善整体性能和最差的级别性能之间的权衡。从理论上讲，我们提供有关在目标培训健壮学生时使一名好老师的见解。
translated by 谷歌翻译
度量启发是最新的框架，用于启发分类性能指标，可以根据任务和上下文最好地反映隐性用户偏好。但是，可用的启发策略仅限于预测率的线性（或准线性）函数，这实际上对包括公平性在内的许多应用可能是限制的。本文制定了一种策略，以引发由二次功能定义的更灵活的多类指标，旨在更好地反映人类的偏好。我们展示了它在启发基于二次违规的集体 - fair量指标中的应用。我们的策略仅需要相对的偏好反馈，对噪声是强大的，并且达到了近乎最佳的查询复杂性。我们将此策略进一步扩展到启发多项式指标，从而扩大了用例以进行度量启发。
translated by 谷歌翻译